ภิรมย์ อั๋นประเสริฐ เคยทำหน้าที่เป็นผู้ตัดสินฟุตบอลในรอบชิงชนะเลิศ คอนเฟเดอเรชันส์คัพ 1997 ที่ประเทศซาอุดิอาระเบีย และในการแข่งขันฟุตบอลโลก 1998 ที่ประเทศฝรั่งเศส[4] โดยที่ลงตัดสินทั้งหมดสองนัด คือ การแข่งขันในรอบแรก กลุ่มดี แมทช์ระหว่าง นอร์เวย์-โมร็อคโค และ ไนจีเรีย-ปารากวัย นอกจากนี้ ในพ.ศ. 2554 ภิรมย์ อั๋นประเสริฐ ดำรงตำแหน่งเป็นประธานคณะกรรมการผู้ตัดสินแห่งประเทศไทย[5] และยังได้ทำหน้าที่เป็นผู้นำผู้ประเมินผู้ตัดสินในการเข้ารับการอบรมจากสหพันธ์ฟุตบอลระหว่างประเทศ[6] และใน พ.ศ. 2555 ภิรมย์ อั๋นประเสริฐ ได้เข้าดำรงตำแหน่งเป็นอุปนายกสมาคมผู้ตัดสินฟุตบอลอาชีพ[7] ทั้งยังเป็นผู้มีบทบาทด้านการบรรยายจรรยาบรรณของการเป็นนักกีฬาให้แก่นักฟุตบอลระดับเยาวชน[8] ตลอดจนได้รับการสนับสนุนจากสมาคมฟุตบอลแห่งประเทศไทยเข้ารับตำแหน่งสำคัญทั้งในส่วนของสมาพันธ์ฟุตบอลเอเชีย และสหพันธ์ฟุตบอลระหว่างประเทศ[9]